Les échevins de Moulins achtèrent le 10 novembre 1690 l'Hôtel Maltaverne situé en face du Jacquemart. Au siècle suivant furent acquises les maisons voisines. Devenu chef-lieu du nouveau département de l'Allier à la Révolution, Moulins se devait de posséder un Hôtel de Ville.
    Mais c'est seulement sous la Restauration que Monsieur de Champflour, alors maire de Moulins, décida de remplacer cet agglomérat de vieilles maisons afin de construire un immeuble, mais aussi de réorganiser les espaces contigus pour leur donner la solennité jugée nécessaire.
    On profita de la disparition de l'église Saint-Pierre des Ménestreaux et de ses annexes, situées de l'autre côté de la rue Voltaire pour créer une place ordonnancée qui prolonge les espaces publics du nouvel Hôtel de Ville ainsi transformé en galerie de liaison reliant la place médiévale du Jacquemart et la place classique de la bibliothèque, composée régulièrement autour d'un espace dessiné en forme de fer-à-cheval (aujourd'hui place Marx-Dormoy). Cet ensemble de style néo-classique, réalisant l'union du fonctionnel et de l'exthétisque, fut réalisé par l'architecte départemental F. Agnety et achevé en 1829.